Главторг инвайтом подели...

[Sunny]

В общем такая задача:
Есть сайт (точнее говоря - интернет-магазин), в нём товаров 10.000 шт. Соответственно примерно 12.000 страниц.
Какие есть программы для того, чтобы собрать все страницы, исключив часть на лету по robots и по маскам.
В одщем даже данные не нужны для анализа. Нужно просто собрать ссылки в список для скармливания в АДДурилку.

p.s. XENU не предлагать.. Эта зараза на сайте в 10.000 товаров нашла 70.000 страниц. При этом украла два часа времени, и сделала только 15% от запланированного, работая в 5 потоков. Больше 8 потоков ацки грузят VDS.

p.p.s. SEOFROG - в бесплатной версии тоже многое не учитывает и хавает всё вподряд.

[terminator]

для таких целей пользуюсь программой WonderWebWare.com SiteMap Generator, он тоже robots анализирует (лично у меня закрытых от индексации нет, сказать об исключении по robots на лету точно не могу, но должен поддерживать). Выдает полный перечень ссылок на страницы

[lol]

Попробуйте audit.megaindex.ru пока бесплатно сможете проиндексировать все страницы.

[MetaDealer]

Сontent Downloader могу сделать за смешную какую нибудь копеечку, если результат устроит)

[Liana]

На seobudget.ru (реф) есть услуга "Добавить страницы в аддурл" (или как-то так). Там ссылки можно парсить с учетом sitemap и robots. И добавить в аддурилку (платно). Но спарсить можно бесплатно. Частенько пользуюсь этим сервисом.